Hãy tưởng tượng công việc điêu khắc một bộ não so với chỉ đơn giản đưa cho nó một kịch bản. Trong thời kỳ trước của xử lý ngôn ngữ tự nhiên, Phù hợp miền là một quá trình gian khổ của Học truyền tải hoặc PEFT (Tinh chỉnh hiệu quả tham số). Chúng tôi coi các mô hình như đất sét, cần hàng ngàn ví dụ được gắn nhãn để thay đổi trọng số bên trong một cách vật lý—một quá trình tốn kém về mặt tính toán và tạo ra các phiên bản tĩnh, siêu chuyên biệt của các mô hình như BERT.

Chất xúc tác GPT-3

Việc ra mắt GPT-3 đánh dấu một Thế giới tiên tiến nhất (SOTA) mốc son. Nó chứng minh rằng Học trong bối cảnh—nơi mô hình nhận diện các mẫu trực tiếp từ lời nhắc—thường đạt hoặc vượt quá hiệu suất của tinh chỉnh chuyên biệt cho các nhiệm vụ tổng quát. Chúng ta đã chuyển sang Suy luận dựa trên lời nhắc, nơi độ trễ và chi phí của cập nhật gradient được thay thế bằng việc tiêm có chiến lược vào bối cảnh.